VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments
VTInstructor：连续环境下基于视觉轨迹提示的导航指令生成
🧭 视觉语言导航 · 指令生成
Peking University · PrimeBot
将隐式轨迹几何转为显式视觉轨迹提示，首个连续环境 VLN 指令生成框架，刷新 R2R-CE/RxR-CE SOTA
📌 工作参考价值（3 点）
- 行为序列显式化提示：可把用户长点击/浏览/加购序列压缩成关键行为节点，并叠加“转向/目标”类结构化提示注入多模态或序列编码器，提升电商场景下 query 推荐、购物路径描述或决策理由生成。工程上可用点击率、停留时长等阈值抽取关键行为，形成轨迹图 prompt。
- 弱化图谱依赖：无需 navigation graph/map/scene reconstruction，适合业务中缺少完整商品知识图谱或用户路径图的情况。可借鉴其从稠密事件流中恢复轨迹、仅靠关键锚点构造上下文的方法，降低图构建与维护成本。
- 用下游 reward 校准生成：VT-GRPO 不止优化文本 NLL，而是让生成指令能提升下游 follower 成功率。迁移到生成式推荐/搜索词生成时，可用点击率、转化率等下游反馈作为 GRPO reward，使生成文本直接服务业务目标。